#self-improving agents

5 篇

ClawLoop: Self-Improving Agents via Harness-Native Training Loop

ClawLoop：基于 Harness 原生训练闭环的自改进 Agent 框架

🧭 自改进 Agent 训练闭环 · Harness 原生任务合成 ★ 深度解读

Meituan · Peking University

无外部教师模型下，通过任务合成-训练-诊断闭环实现 harness agent 自改进，并迁移到小模型

📌 工作参考价值（4 点）

任务合成用可执行 generator 直接产出环境、答案 key 和 answer contract，避免让 LLM 直接生成答案；电商/搜索场景构造模拟任务（订单聚合、库存核对、报表生成）时可借鉴“生成代码而非标签”，把隐含业务规则写成 skill/contract 文件，确保 reward 可验证且不泄漏。
SFT 阶段只对 agent action token 计算 loss，mask 掉环境观察 token；多轮 agent 训练中商品详情、日志、工具输出往往很长，不做 mask 会主导梯度，这个 trick 可直接复用。
RL 用 GRPO 时引入 admission band [N_l, N_h] 只保留当前策略通过率居中的任务，太难或太易都不产生 advantage；推荐/对话策略的自我博弈或课程学习可以按通过率过滤样本，动态保持训练信号密度。
诊断反馈闭环：让模型自己总结失败轨迹并聚合 failure patterns，驱动下一轮任务生成；可用于 query 改写、Agent 规划失败归因，自动生成针对性补强数据，不依赖人工分析。

Training | 2026-10-08 | HF Daily | score 9/10

On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification

自改进智能体的脆弱性：方差、任务顺序与欠规约

🧭 自改进Agent 可靠性评估

Salesforce AI Research

重评估揭示内存型自改进Agent存在高方差、强任务顺序依赖及任务/环境欠规约导致的脆弱性

📌 工作参考价值（4 点）

评估自改进 Agent 或带记忆的 LLM 系统时，务必报告多次运行方差；观察到最佳与最差运行差距可达 10 个百分点，单次结果不可靠。
任务顺序会隐式形成课程学习，默认顺序可能掩盖真实性能；上线前应在随机打乱的任务流上做压力测试，否则提升可能来自顺序而不是模型能力。
内存条目若缺少任务/环境规约，容易生成看似合理但不适用的策略；可在记忆构造时注入详细 rubrics、环境反馈或约束条件，降低欠规约带来的误导。
即使加入额外规约信息，性能仍存在明显 gap，说明现有自改进循环内部有不稳定因素；业务场景中建议引入人工审核或护栏，防止 Agent 在不可预见场景下产生错误记忆并持续放大。

Agent | 2026-08-18 | cs.CL | score 7/10

self-improving agents memory-based agents evaluation variance task order underspecification

Mendel Gödel Machine: Recursive Self-Improving Coding Agents via Comparative Evolution

孟德尔·哥德尔机：基于比较进化的递归自改进编码代理

🧭 自改进编码Agent · 比较进化 ★ 深度解读

University of Electronic Science and Technology of China · Ludwig Maximilian University of Munich · Munich Center for Machine Learning

引入反应范型突变和跨谱系杂交，利用存档中多任务、多谱系比较证据提升自改进编码代理的性能与泛化性

📌 工作参考价值（4 点）

反应范型突变的迁移：在电商搜索推荐Agent中，同一Agent往往同时服务于搜索、推荐、广告等多个场景。可以借鉴MGM的思路，比较该Agent在不同场景下的成功/失败轨迹，识别跨场景的通用缺陷（如检索总召回不足、融合逻辑缺陷），从而进行针对性修复，而非孤立地针对单个场景调优。
跨谱系杂交的应用：在A/B实验或多策略线上共存时，可以将表现更好的Agent视为参照，将其在相同任务（如同一query、同一用户）上的成功轨迹作为对比信号，指导表现较差的Agent自我改写，实现策略能力的定向迁移，避免从头探索。
失败任务池的加权采样：维护一个全局的“高信息量失败任务池”，在评估Agent时优先采样这些任务，可以更高效地暴露弱点、促成跨Agent对比。这可以应用于构建在线评估流量的分层采样策略，用更少的流量诊断出Agent的真正短板。
存档式自改进框架：将Agent谱系树与评估轨迹统一存储，用Thompson采样在评估与扩展之间动态分配预算，既保证探索又利用高潜力节点。这种框架可以直接用于自动化优化推荐系统的推理链、工具调用等工作流，通过代码层面的自修改实现持续进化。

Agent | 2026-08-06 | HF Daily | score 8/10

self-improving agents comparative evolution reaction-norm mutation cross-lineage hybridization coding agents archive-based search

Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents

谁给评分者评分？自进化智能体评估指标与技能协同演化

🧭 Agent自我改进中的评估指标进化

在没有可靠评估指标时，让评估指标与Agent技能协同进化，保持自我改进效能

📌 工作参考价值（4 点）

在无可靠在线指标的场景（如生成式推荐文案、广告创意评估）中，可借鉴利用小规模锚定参考集+未标注输出共识正则化，构建可进化的透明评估指标，避免依赖不可信的自动化评判。
将评估指标进化与技能生命周期管理协同的Double Ratchet框架，可直接用于对话Agent、搜索Query生成等自我改进系统，使系统在缺乏人工标注时仍能持续提升。
引入anchor discipline（锚定纪律）和外部审计机制，防止指标退化或技能钻漏洞，对电商Agent安全至关重要，尤其当系统输出直接影响用户体验或收入时。
在推荐理由生成、商品描述自动优化等任务中，可先用少量人工标注训练初始指标，然后通过协同进化让模型自适应新数据分布，减少人工持续标注成本。

Agent | 2026-07-14 | cs.CL | score 7/10

self-improving agents metric co-evolution LLM agents evaluation evolutionary lifecycle anchor discipline

Self-Improvements in Modern Agentic Systems: A Survey

现代智能体系统的自我改进综述

🧭 Agent 自我改进的系统化综述

Jilin University · King Abdullah University of Science and Technology · Independent Researcher · University of Alberta · The Swiss AI Lab IDSIA/USI/SUPSI

提出系统级框架，将自改进Agent形式化为对模型参数或脚手架的自诱导更新，并整理论坛。

📌 工作参考价值（4 点）

在线持续优化推荐策略：在电商推荐中，可借鉴自改进闭环，利用用户交互反馈（点击、转化）自动更新模型参数或提示，实现推荐效果的持续提升，减少人工干预。
动态工具与策略脚手架：类似文中的 Scaffolding Improvement，可将推荐系统的召回、排序、过滤等组件视为可动态调整的“工具”，根据实时效果自动调整路由或组合策略，例如动态选择推荐模型、调整混排规则。
利用弱反馈信号驱动自适应：论文中总结了多种反馈信号（标量、定性、群体等），实际业务中可利用隐式反馈（停留时长、滑动行为）甚至用户投诉作为改进信号，通过生成-验证-修正循环提升推荐质量。
Agent 形式的推荐生成：若采用生成式推荐（GenRec），可将推荐生成视为一个自改进 Agent，通过自我反思和多轮交互优化最终推荐结果，特别适用于对话式推荐或搜索结果排序。

Agent | 2026-07-13 | HF Daily | score 7/10

self-improving agents foundation model scaffolding survey LLM agents